On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
LLM 强化学习中训练-推理失配的成因与修正
🧭 LLM 在线强化学习训练稳定性
George Washington University · Duke University
拆分数值偏差与策略滞后，提出 DLC 校正，稳定异步采样下 LLM 在线策略训练
📌 工作参考价值（3 点）
- 在线 RL 训练 LLM 推荐文案/对话 Agent 时，若推理引擎与 trainer 分离，先对每个 prefix 的 score 做 centering 再计算 advantage，可去除推理引擎数值差异带来的近固定偏差；类似 advantage normalization，但要按 prefix 而不是全局批量做。
- 对异步采样引入的 policy lag，不要只做 per-token importance weighting；持续监控重要性权重的 ESS，低于 0.5 时强制同步 sampler 权重。该阈值在 Qwen3-1.7B 上被验证为崩溃临界点，可作工程默认触发条件。
- 别只监控 sampler 端前缀上的 KL，它检测不到由滞后反馈导致的塌缩；建议增加与 on-policy baseline 的 KL 对比或 trainer 侧 KL 监控，并配置自动 resync。